protobuf和protostuff的区别 | 您所在的位置:网站首页 › protobuf protostuff性能对比 › protobuf和protostuff的区别 |
在我们的开发过程中,序列化是经常需要处理的问题,比如在做分布式访问数据时,或者是在做redis缓存存储数据时,如果我们涉及的知识面不够广的话,可能会简单的使用JDK的序列化,也即在需要序列化的类上implements Serializable接口去实现序列化,我想说的是这种方式在小系统中尚且可以用一用,如果是并发很大的系统会受到严重影响,这是由于JDK自带的序列化效率很低,不论是时间上还是空间上。我们经常使用的序列化方式还有XML和Json,说实在的我更多的是使用Json,我觉得它很方便很友好,但这些都不够好,我今天要将的是google开发的开源的序列化方案protocol buffer(简称protobuf),它的好处很多,独立于语言,独立于平台,最最重要的是它的效率相当高,用protobuf序列化后的大小是json的10分之一,xml格式的20分之一,是二进制序列化的10分之一,是不是很心动。其实我也刚接触这个好东西,写下此篇博客就当一个学习笔记吧。 protobuf使用起来非常简单,它的主要流程是:我们需要自己写一个.proto文件用来描述序列化的格式,然后用protobuf提供的protoc工具将.proto文件编译成一个Java文件(protobuf官方支持很多语言:Java、C++、C#、Go、Python ,protobuf是一个开源项目,因此有很多大牛也实现了其他语言,但它们的可靠性还有待验证),最后将该Java文件引入到我们的项目中就可以使用了,当然还得引入protobuf的依赖包。
1、我们需要到官网下载protobuf的相应版本,我这里下载的是windows下的3.1.0版protoc-3.1.0-win32.zip
2、将下载好的zip解压,能看到bin目录下有一个protoc.exe的文件,等下需要用它来编译文件,我们直接在bin目录下 创建一个简单的person.proto的描述文件,内容如下: [plain] view plain copy syntax = "proto3"; option java_package = "gudao.red.protobuf"; option java_outer_classname = "PersonFactory"; message Person{ int32 id = 1; string name = 2; int32 age = 3; Addr addr = 4; } message Addr{ string contry = 1; string city = 2; } 内容非常简单,大概介绍一下: syntax = "proto3"; 我们使用proto3版协议 option java_package = "gudao.red.protobuf"; 编译之后生成的Java文件的包名 option java_outer_classname = "PersonFactory"; 编译之后生成的Java类的类名 message 相当于Java中的class 详细的介绍,还请自行去官网查看
3、使用protoc编译上述.proto文件,生成Java类,使用如下命令完成该操作 [plain] view plain copy protoc --java_out=./src ./person.proto--java_out:生成的Java文件输出的位置,其他语言有相应的选项 这样就会在src目录下生成一个 名为PersonFactory的Java文件
4、将PersonFactory.java文件引入到我们的项目中,并引入对应版本的protobuf的依赖包
5、写测试代码 [java] view plain copy package gudao.red.protobuf_test; import java.net.Socket; import gudao.red.protobuf.PersonFactory.Addr; import gudao.red.protobuf.PersonFactory.Person; public class Client { public static void main(String[] args) throws Exception { Socket socket = new Socket("127.0.0.1",3030); Person.Builder person = Person.newBuilder(); Addr.Builder addr = Addr.newBuilder(); addr.setContry("china").setCity("shenzhen"); person.setId(1).setAge(12).setName("ccf"); person.setAddr(addr); byte[] messageBody = person.build().toByteArray(); int headerLen = 1; byte[] message = new byte[headerLen+messageBody.length]; message[0] = (byte)messageBody.length; System.arraycopy(messageBody, 0, message, 1, messageBody.length); System.out.println("msg len:"+message.length); socket.getOutputStream().write(message); } }[java] view plain copy package gudao.red.protobuf_test; import java.net.ServerSocket; import java.net.Socket; import gudao.red.protobuf.PersonFactory.Person; public class Server { /** * @param args */ public static void main(String[] args) throws Exception { // TODO Auto-generated method stub ServerSocket serverSock = new ServerSocket(3030); while(true){ Socket sock = serverSock.accept(); byte[] msg = new byte[256]; sock.getInputStream().read(msg); int msgBodyLen = msg[0]; System.out.println("msg body len:"+msgBodyLen); byte[] msgbody = new byte[msgBodyLen]; System.arraycopy(msg, 1, msgbody, 0, msgBodyLen); Person person = Person.parseFrom(msgbody); System.out.println("Receive:"); System.out.println(person); } } } 先后启动Server和Client,就可以看到控制台的输出如下: 至此,我们的简单使用过程就完成了,是不是很简单。是,这个例子看上去是挺简单的,但如果我们需要序列化的类非常多,那么我们是不是得写非常多的.proto文件,并且还需要更新它们,这个代价可以想象一下也是非常大的。那么,接下来我们就来讲一讲protostuff,看这名字是不是跟protobuf很像,嗯,它们是有关系,前者就是基于后者实现的。
6、protostuff是一个基于protobuf实现的序列化方法,它较于protobuf最明显的好处是,在几乎不损耗性能的情况下做到了不用我们写.proto文件来实现序列化。使用它也非常简单,所以直接上代码。 [java] view plain copy package gudao.red.protostuff; import java.util.Arrays; import java.util.List; public class Po { private Integer id; private String name; private String remark; private Integer age; private int[] array; private InnerPo innerPo; private List more; public Po(){} public Po(Integer id,String name,String remark,Integer age, int[] array,InnerPo innerPo,List more){ this.id = id; this.name = name; this.remark = remark; this.age = age; this.array = array; this.innerPo = innerPo; this.more = more; } public Integer getId() { return id; } public void setId(Integer id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } public String getRemark() { return remark; } public void setRemark(String remark) { this.remark = remark; } public Integer getAge() { return age; } public void setAge(Integer age) { this.age = age; } public int[] getArray() { return array; } public void setArray(int[] array) { this.array = array; } public InnerPo getInnerPo() { return innerPo; } public void setInnerPo(InnerPo innerPo) { this.innerPo = innerPo; } public List getMore() { return more; } public void setMore(List more) { this.more = more; } @Override public String toString() { StringBuffer sb = new StringBuffer(); sb.append("id:"+id+"\n"); sb.append("name:"+name+"\n"); sb.append("remark:"+remark+"\n"); sb.append("age:"+age+"\n"); sb.append("array:"+Arrays.toString(array)+"\n"); sb.append("innerPo:"+innerPo.toString()+"\n"); sb.append("more:"+more); return sb.toString(); } } class InnerPo{ private Integer id; private String name; public InnerPo(){} public InnerPo(Integer id,String name){ this.id = id; this.name = name; } public Integer getId() { return id; } public void setId(Integer id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } @Override public String toString() { return id+"-"+name; } }[java] view plain copy package gudao.red.protostuff; import java.util.ArrayList; import java.util.List; import com.dyuproject.protostuff.LinkedBuffer; import com.dyuproject.protostuff.ProtostuffIOUtil; import com.dyuproject.protostuff.runtime.RuntimeSchema; public class ProtostuffTest { static RuntimeSchema poSchema = RuntimeSchema.createFrom(Po.class); private static byte[] decode(Po po){ return ProtostuffIOUtil.toByteArray(po, poSchema, LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE)); } private static Po ecode(byte[] bytes){ Po po = poSchema.newMessage(); ProtostuffIOUtil.mergeFrom(bytes, po, poSchema); return po; } public static void main(String[] args) { InnerPo innerPo = new InnerPo(1, "InnerPo1"); List list = new ArrayList(); list.add("a"); list.add("b"); Po po = new Po(1, "Fong", "备注", 24, new int[]{1,2,3,4},innerPo,list); byte[] bytes = decode(po); System.out.println(bytes.length); Po newPo = ecode(bytes); System.out.println(newPo); } }
|
CopyRight 2018-2019 实验室设备网 版权所有 |